Benefiting from its single-photon sensitivity, single-photon avalanche diode (SPAD) array has been widely applied in various fields such as fluorescence lifetime imaging and quantum computing. However, large-scale high-fidelity single-photon imaging remains a big challenge, due to the complex hardware manufacture craft and heavy noise disturbance of SPAD arrays. In this work, we introduce deep learning into SPAD, enabling super-resolution single-photon imaging over an order of magnitude, with significant enhancement of bit depth and imaging quality. We first studied the complex photon flow model of SPAD electronics to accurately characterize multiple physical noise sources, and collected a real SPAD image dataset (64 $\times$ 32 pixels, 90 scenes, 10 different bit depth, 3 different illumination flux, 2790 images in total) to calibrate noise model parameters. With this real-world physical noise model, we for the first time synthesized a large-scale realistic single-photon image dataset (image pairs of 5 different resolutions with maximum megapixels, 17250 scenes, 10 different bit depth, 3 different illumination flux, 2.6 million images in total) for subsequent network training. To tackle the severe super-resolution challenge of SPAD inputs with low bit depth, low resolution, and heavy noise, we further built a deep transformer network with a content-adaptive self-attention mechanism and gated fusion modules, which can dig global contextual features to remove multi-source noise and extract full-frequency details. We applied the technique on a series of experiments including macroscopic and microscopic imaging, microfluidic inspection, and Fourier ptychography. The experiments validate the technique's state-of-the-art super-resolution SPAD imaging performance, with more than 5 dB superiority on PSNR compared to the existing methods.

In this paper, we propose a novel architecture, the Enhanced Interactive Transformer (EIT), to address the issue of head degradation in self-attention mechanisms. Our approach replaces the traditional multi-head self-attention mechanism with the Enhanced Multi-Head Attention (EMHA) mechanism, which relaxes the one-to-one mapping constraint among queries and keys, allowing each query to attend to multiple keys. Furthermore, we introduce two interaction models, Inner-Subspace Interaction and Cross-Subspace Interaction, to fully utilize the many-to-many mapping capabilities of EMHA. Extensive experiments on a wide range of tasks (e.g. machine translation, abstractive summarization, grammar correction, language modelling and brain disease automatic diagnosis) show its superiority with a very modest increase in model size.

We study sample efficient reinforcement learning (RL) under the general framework of interactive decision making, which includes Markov decision process (MDP), partially observable Markov decision process (POMDP), and predictive state representation (PSR) as special cases. Toward finding the minimum assumption that empowers sample efficient learning, we propose a novel complexity measure, generalized eluder coefficient (GEC), which characterizes the fundamental tradeoff between exploration and exploitation in online interactive decision making. In specific, GEC captures the hardness of exploration by comparing the error of predicting the performance of the updated policy with the in-sample training error evaluated on the historical data. We show that RL problems with low GEC form a remarkably rich class, which subsumes low Bellman eluder dimension problems, bilinear class, low witness rank problems, PO-bilinear class, and generalized regular PSR, where generalized regular PSR, a new tractable PSR class identified by us, includes nearly all known tractable POMDPs. Furthermore, in terms of algorithm design, we propose a generic posterior sampling algorithm, which can be implemented in both model-free and model-based fashion, under both fully observable and partially observable settings. The proposed algorithm modifies the standard posterior sampling algorithm in two aspects: (i) we use an optimistic prior distribution that biases towards hypotheses with higher values and (ii) a loglikelihood function is set to be the empirical loss evaluated on the historical data, where the choice of loss function supports both model-free and model-based learning. We prove that the proposed algorithm is sample efficient by establishing a sublinear regret upper bound in terms of GEC. In summary, we provide a new and unified understanding of both fully observable and partially observable RL.

持续学习的现有工作（CL）的重点是减轻灾难性遗忘，即学习新任务时过去任务的模型绩效恶化。但是，CL系统的训练效率不足，这限制了CL系统在资源有限的方案下的现实应用。在这项工作中，我们提出了一个名为“稀疏持续学习”（SPARCL）的新颖框架，这是第一个利用稀疏性以使边缘设备上具有成本效益的持续学习的研究。 SPARCL通过三个方面的协同作用来实现训练加速度和准确性保护：体重稀疏性，数据效率和梯度稀疏性。具体而言，我们建议在整个CL过程中学习一个稀疏网络，动态数据删除（DDR），以删除信息较少的培训数据和动态梯度掩盖（DGM），以稀疏梯度更新。他们每个人不仅提高了效率，而且进一步减轻了灾难性的遗忘。 SPARCL始终提高现有最新CL方法（SOTA）CL方法的训练效率最多减少了训练失败，而且令人惊讶的是，SOTA的准确性最多最多提高了1.7％。 SPARCL还优于通过将SOTA稀疏训练方法适应CL设置的效率和准确性获得的竞争基线。我们还评估了SPARCL在真实手机上的有效性，进一步表明了我们方法的实际潜力。

图形神经网络（GNN）的输入图的大小不断增加，突显了使用多GPU平台的需求。但是，由于计算不平衡和效率较低的通信，现有的多GPU GNN解决方案遭受了劣质性能。为此，我们提出了MGG，这是一种新型的系统设计，可以通过以GPU为中心的软件管道在多GPU平台上加速GNN。 MGG探讨了通过细粒度计算通信管道中隐藏GNN工作负载中远程内存访问延迟的潜力。具体而言，MGG引入了管​​道感知工作负载管理策略和混合数据布局设计，以促进通信局限性重叠。 MGG实现以优化的管道为中心的内核。它包括工作负载交织和基于经经的映射，以进行有效的GPU内核操作管道和专门的内存设计以及优化，以更好地数据访问性能。此外，MGG还结合了轻巧的分析建模和优化启发式方法，以动态提高运行时不同设置的GNN执行性能。全面的实验表明，MGG在各种GNN设置上的最先进的多GPU系统要比最先进的多GPU系统：平均比具有统一虚拟内存设计的多GPU系统快3.65倍，平均比DGCL框架快7.38倍。

我们为3D形状生成（称为SDF-Stylegan）提供了一种基于stylegan2的深度学习方法，目的是降低生成形状和形状集合之间的视觉和几何差异。我们将stylegan2扩展到3D世代，并利用隐式签名的距离函数（SDF）作为3D形状表示，并引入了两个新颖的全球和局部形状鉴别器，它们区分了真实和假的SDF值和梯度，以显着提高形状的几何形状和视觉质量。我们进一步补充了基于阴影图像的FR \'Echet Inception距离（FID）分数的3D生成模型的评估指标，以更好地评估生成形状的视觉质量和形状分布。对形状生成的实验证明了SDF-Stylegan比最先进的表现出色。我们进一步证明了基于GAN倒置的各种任务中SDF-Stylegan的功效，包括形状重建，部分点云的形状完成，基于单图像的形状形状生成以及形状样式编辑。广泛的消融研究证明了我们框架设计的功效。我们的代码和训练有素的模型可在https://github.com/zhengxinyang/sdf-stylegan上找到。

在均匀的Lipschitzness的简单假设下，即每样本样本梯度均匀地界限的大多数先前的收敛结果是在均匀的私有随机梯度下降（DP-SGD）中得出的。在许多问题，例如使用高斯数据的线性回归中，此假设是不现实的。我们可以通过假设每个样本梯度具有\ textit {样品依赖性}上限，即每样本的Lipschitz常数，而它们本身可能是无限的，那么我们就会放松均匀的唇。当按样本Lipschitz常数具有有限的矩时，我们在凸函数和非凸函数上得出DP-SGD的新收敛结果。此外，我们还提供了针对DP-SGD中选择剪辑标准的原则指导，以使其满足我们轻松的Lipschitzness的凸设置，而无需在Lipschitz常数上做出分配假设。我们通过基准测试数据集的实验来验证建议的有效性。

多尺度特征层次结构已在计算机视觉区域的成功中得到了见证。这进一步激发了研究人员设计自然语言处理的多尺度变压器，主要是基于自我发项机制。例如，限制跨头部的接收场或通过卷积提取局部细粒度特征。但是，大多数现有作品都直接建模了本地功能，但忽略了单词边界信息。这导致了缺乏解释性的多余和模棱两可的注意力分布。在这项工作中，我们在不同的语言单元中定义了这些量表，包括子字，单词和短语。我们通过基于单词边界信息和短语级别的先验知识之间建立量表之间的关系来构建多尺度变压器模型。提出的\ textbf {u} niversal \ textbf {m} ulti \ textbf {s} cale \ textbf {t} ransformer，即在两个序列生成任务上评估。值得注意的是，它在几个测试组上的强大基线上产生了一致的性能，而无需牺牲效率。

深钢筋学习（DRL）被视为一种潜在的方法来控制汽车控制，并主要研究以支持一辆接下来的车辆。但是，在排中有多个以下车辆，尤其是在不可预测的领先车辆行为中，学习稳定，高效的汽车跟随政策是更具挑战性的。在这种情况下，我们采用集成的DRL和动态编程（DP）方法来学习自主排控制策略，该政策将深层确定性策略梯度（DDPG）算法嵌入到有限的 - Horizo​​n值迭代框架中。尽管DP框架可以提高DDPG的稳定性和性能，但它具有较低的采样和训练效率的局限性。在本文中，我们提出了一种算法，即有限的horizo​​n-ddpg，使用固定近似（FH-DDPG-SS）通过减少状态空间（FH-DDPG-SS）进行扫描，该算法使用三个关键思想来克服上述限制，即，即将网络权重转移到向后转移的网络权重。时间，较早的时间步骤的固定政策近似，并通过减少的状态空间进行扫描。为了验证FH-DDPG-SS的有效性，使用实际驾驶数据进行了模拟，其中将FH-DDPG-SS的性能与基准算法的性能进行了比较。最后，展示了FH-DDPG-SS的排安全性和弦稳定性。

现有理论预测，数据异质性将降低联邦平均（FedAvg）算法在联合学习中的性能。但是，实际上，简单的FedAvg算法的收敛良好。本文解释了与以前的理论预测相矛盾的FedAvg的看似不合理的有效性。我们发现，在以前的理论分析中，有界梯度差异的关键假设太悲观了，无法表征实际应用中的数据异质性。对于一个简单的二次问题，我们证明存在很大的梯度差异对FedAvg的收敛性没有任何负面影响。在这一观察结果的推动下，我们提出了一个新的数量，最佳的平均漂移，以衡量数据异质性的效果，并明确使用它来提出对FedAvg的新理论分析。我们表明，在许多实际联合训练任务中，最佳的平均漂移几乎为零，而梯度差异可能很大。我们的新分析表明，FedAvg可以在均质和异质数据设置中具有相同的收敛速率，因此可以更好地理解其经验成功。